AI资讯新闻榜单内容搜索-Scaling La

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: Scaling La
大模型量化训练极限在哪?腾讯混元提出低比特浮点数训练Scaling Laws

大模型量化训练极限在哪?腾讯混元提出低比特浮点数训练Scaling Laws

大模型量化训练极限在哪?腾讯混元提出低比特浮点数训练Scaling Laws

大模型低精度训练和推理是大模型领域中的重要研究方向,旨在通过降低模型精度来减少计算和存储成本,同时保持模型的性能。因为在大模型研发成本降低上的巨大价值而受到行业广泛关注 。

来自主题: AI技术研报
3900 点击    2025-01-17 11:07
思维链?思维树?华为诺亚:现在到了思维森林时刻!

思维链?思维树?华为诺亚:现在到了思维森林时刻!

思维链?思维树?华为诺亚:现在到了思维森林时刻!

OpenAI 接连发布 o1 和 o3 模型,大模型的高阶推理能力正在迎来爆发式增强。在预训练 Scaling law “撞墙” 的背景下,探寻新的 Scaling law 成为业界关注的热点。高阶推理能力有望开启新的 Scaling law,为大模型的发展注入新的活力。

来自主题: AI技术研报
6640 点击    2025-01-14 14:43
仅需一万块钱!清华团队靠强化学习让 7B模型数学打败GPT-4o

仅需一万块钱!清华团队靠强化学习让 7B模型数学打败GPT-4o

仅需一万块钱!清华团队靠强化学习让 7B模型数学打败GPT-4o

OpenAI o1和o3模型的发布证明了强化学习能够让大模型拥有像人一样的快速迭代试错、深度思考的高阶推理能力,在基于模仿学习的Scaling Law逐渐受到质疑的今天,基于探索的强化学习有望带来新的Scaling Law。

来自主题: AI资讯
6123 点击    2025-01-06 14:56
数据不够致Scaling Law撞墙?CMU和DeepMind新方法可让VLM自己生成记忆

数据不够致Scaling Law撞墙?CMU和DeepMind新方法可让VLM自己生成记忆

数据不够致Scaling Law撞墙?CMU和DeepMind新方法可让VLM自己生成记忆

最近 AI 社区很多人都在讨论 Scaling Law 是否撞墙的问题。其中,一个支持 Scaling Law 撞墙论的理由是 AI 几乎已经快要耗尽已有的高质量数据,比如有一项研究就预计,如果 LLM 保持现在的发展势头,到 2028 年左右,已有的数据储量将被全部利用完。

来自主题: AI技术研报
8366 点击    2025-01-03 15:46
对话AI科学家刘威:“Ilya预训练终结论”对中国大模型公司影响不大

对话AI科学家刘威:“Ilya预训练终结论”对中国大模型公司影响不大

对话AI科学家刘威:“Ilya预训练终结论”对中国大模型公司影响不大

过去一段时间,“预训练终结”成为了 AI 领域最热烈的讨论之一。OpenAI的GPT系列模型此前大踏步的前进,预训练是核心推动力。而前 OpenAI 首席科学家 Ilya Sutskever、预训练和scaling law(规模定律)最忠实的倡导者,却宣称预训练要终结了、scaling law要失效。由此,引发了大量争议。

来自主题: AI资讯
8091 点击    2025-01-03 09:50
多模态模型已落地多领域,OpenBayes贝式计算获评「大模型最具潜力创业企业 TOP 10」

多模态模型已落地多领域,OpenBayes贝式计算获评「大模型最具潜力创业企业 TOP 10」

多模态模型已落地多领域,OpenBayes贝式计算获评「大模型最具潜力创业企业 TOP 10」

在 2024 年的 NeurIPS 会议上,Ilya Sutskever 提出了一系列关于人工智能发展的挑战性观点,尤其集中于 Scaling Law 的观点:「现有的预训练方法将会结束」,这不仅是一次技术的自然演进,也可能标志着对当前「大力出奇迹」方法的根本性质疑。

来自主题: AI资讯
6134 点击    2025-01-02 16:31
机器人空间泛化也有Scaling Law!清华新国大新算法框架让机器人操作更加鲁棒

机器人空间泛化也有Scaling Law!清华新国大新算法框架让机器人操作更加鲁棒

机器人空间泛化也有Scaling Law!清华新国大新算法框架让机器人操作更加鲁棒

在机器人空间泛化领域,原来也有一套Scaling Law! 来自清华和新加坡国立大学的团队,发现了空间智能的泛化性规律。 在此基础上,他们提出了一套新颖的算法框架——ManiBox,让机器人能够在真实世界中应对多样化的物体位置和复杂的场景布置。

来自主题: AI技术研报
6412 点击    2024-12-29 17:33
清华、智谱团队:探索 RLHF 的 scaling laws

清华、智谱团队:探索 RLHF 的 scaling laws

清华、智谱团队:探索 RLHF 的 scaling laws

目前关于 RLHF 的 scaling(扩展)潜力研究仍然相对缺乏,尤其是在模型大小、数据组成和推理预算等关键因素上的影响尚未被系统性探索。 针对这一问题,来自清华大学与智谱的研究团队对 RLHF 在 LLM 中的 scaling 性能进行了全面研究,并提出了优化策略。

来自主题: AI技术研报
8695 点击    2024-12-24 14:56